Harbor Framework

概述

Harbor Framework 是容器化的 Agent 评测框架，用于标准化和模块化 Agent 评测流程。

关键内容

1. 核心特性：
2. 容器化设计：每个评测任务在隔离环境中运行
3. 模块化架构：支持灵活组合不同的评分器和评测组件

4. 标准化接口：统一的评测任务定义和执行框架

5. 在评测体系中的位置：

6. 提供 Evaluation Harness 的开源实现
7. 解决评测环境隔离性问题（避免跨 Trial 共享状态）

8. 支持多类型 Agent 的评测需求

9. 工程价值：

10. 降低评测基础设施的搭建门槛
11. 提供可复用的评测组件库
12. 支持评测的持续集成和自动化

来源

• raw/articles/ai-engineering/anthropic-engineering/claude-engineering/12_demystifying_evals.md — 参考与扩展阅读

相关

• 评测驱动开发 — uses（Harbor Framework 是评测基础设施的开源实现）